Defining the Pose of any 3D Rigid Object and an Associated Distance

The pose of a rigid object is usually regarded as a rigid transformation, described by a translation and a rotation. However, equating the pose space with the space of rigid transformations is in general abusive, as it does not account for objects with proper symmetries -- which are common among man-made objects.In this article, we define pose as a distinguishable static state of an object, and equate a pose with a set of rigid transformations. Based solely on geometric considerations, we propose a frame-invariant metric on the space of possible poses, valid for any physical rigid object, and requiring no arbitrary tuning. This distance can be evaluated efficiently using a representation of poses within an Euclidean space of at most 12 dimensions depending on the object's symmetries. This makes it possible to efficiently perform neighborhood queries such as radius searches or k-nearest neighbor searches within a large set of poses using off-the-shelf methods. Pose averaging considering this metric can similarly be performed easily, using a projection function from the Euclidean space onto the pose space. The practical value of those theoretical developments is illustrated with an application of pose estimation of instances of a 3D rigid object given an input depth map, via a Mean Shift procedure

Descripteurs pour la reconnaissance de piétons

National audienceLa reconnaissance de piétons dans les images est une tâche à part entière qui requiert l'utilisation d'outils particuliers. Parmi les descripteurs récents utilisés pour la détection de piétons, on trouve les ondelettes de Haar, les histogrammes d'orientation de gradients et les descripteurs binaires. Ce papier présente une comparaison des performances de ces trois différents descripteurs à partir d'une base d'images commune et d'un même classifieur. Nous présenterons également comment associer ces descripteurs de façon simple pour améliorer les taux de reconnaissance de piétons

Reconnaissance d'objets en vision artificielle : application à la reconnaissance de piétons

This thesis has been realized in the group GRAVIR (4) of the LASMEA (5) with the team Com-See (6), which works on computer vision. My research was involved in a projet of the « Agence Nationale pour la Recherche »nammed « Logiciels d’Observation des Vulnérables ». Its goal was to create softwares to detect endangered pedestrians and thus to improve road safety. My thesis aims to detect and to recognize pedestrians in images. These come from a camera embedded into a vehicle, which is driven in urban areas. These specifications involve many constraints. We have to obtain a real-time system for detect pedestrians before a possible collision. Moreover, pedestrians should be very variable (size, clothes, ...), which make the recognition more complicated. As the camera is moving, no information could be taken from the background. In my thesis, we implement several methods of computer vision, all based on a learning stage, which answer to all theses expectations. The problem is solved in two steps. Firstly, a off-line stage allows us to design a method able to recognize pedestrians. We use a learning database. First of all, an image descriptor is used to extract informations of the images.Then, from these informations, a classifior is trained to differentiate pedestrians to others objects. We suggest to use three descriptors (Haar wavelets, histograms of oriented gradients and binary descriptor). For the classification task, we use a Boosting algorithm (AdaBoost) and kernel methods (SVM, RVM, least squares). We define all the parameters, and each method - of description or classification - is then tested and validated. The best association of these methods is also searched. Secondly, we realize an embedded real-time system, which is able to detect pedestrians before a possible collision. We directly use raw images coming from the camera et add a segmentation stage, so as to insert previous description and classification méthods and thus to answer to the initial problem.4. for « Groupe d’Automatique, VIsion et Robotique ».5. for « LAboratoire des Sciences et Matériaux et d’Automatique ».6. for « Computers that See ».Ce mémoire présente les travaux réalisés dans le cadre de ma thèse. Celle-ci a été menée dans le groupe GRAVIR (1) du LASMEA (2) au sein de l’équipe ComSee (3) qui se consacre à la vision par ordinateur. Ces travaux s’inscrivent dans le cadre d’un projet de l’Agence Nationale pour la Recherche s’intitulant « Logiciels d’Observation des Vulnérables ». Son but est de concevoir des logiciels détectant des piétons en danger et d’améliorer ainsi la sécurité routière. Ma thèse a pour but de détecter et de reconnaître les piétons dans les images. Celles-ci proviennent d’une caméra embarquée dans un véhicule circulant en milieu urbain. Ce cahier des charges implique de nombreuses contraintes. Il faut notamment obtenir un système fonctionnant en temps réel pour être capable de détecter les piétons avant un éventuel impact. De plus, ces piétons peuvent être sujets à de nombreuses variations (taille, type de vêtements...), ce qui rend la tâche de reconnaissance d’autant plus ardue. La caméra étant mobile, aucune information ne pourra être extraite du fond. Dans ma thèse, nous mettons en oeuvre différentes méthodes de vision par ordinateur, toutes basées apprentissage, qui permettent de répondre à ces attentes. Le problème se traite en deux phases. Dans un premier temps, une étape de traitement hors ligne nous permet de concevoir une méthode valide pour reconnaître des piétons. Nous faisons appel à une base d’apprentissage. Tout d’abord, un descripteur d’images est employé pour extraire des informations des images.Puis, à partir de ces informations, un classifieur est entraîné à différencier les piétons des autres objets. Nous proposons l’utilisation de trois descripteurs (ondelettes de Haar, histogrammes de gradients et descripteur binaire). Pour la classification, nous avons recours à un algorithme de Boosting (AdaBoost) et à des méthodes à noyaux (SVM, RVM, moindres carrés). Chaque méthode a été paramétrée, testée et validée, tant au niveau description d’images que classification.La meilleure association de toutes ces méthodes est également recherchée. Dans un second temps, nous développons un système embarqué temps réel, qui soit capable de détecter les piétons avant une éventuelle collision. Nous exploitons directement des images brutes en provenance de la caméra et ajoutons un module pour segmenter l’image, afin de pouvoir intégrer les méthodes de description et classification précédentes et ainsi répondre à la problématique initiale.1. acronyme de « Groupe d’Automatique, VIsion et Robotique ».2. acronyme de « LAboratoire des Sciences et Matériaux Et d’Automatique ».3. acronyme de « Computers that See »

Object recognition in machine vision : application to pedestrian recognition

Ce mémoire présente les travaux réalisés dans le cadre de ma thèse. Celle-ci a été menée dans le groupe GRAVIR (1) du LASMEA (2) au sein de l’équipe ComSee (3) qui se consacre à la vision par ordinateur. Ces travaux s’inscrivent dans le cadre d’un projet de l’Agence Nationale pour la Recherche s’intitulant « Logiciels d’Observation des Vulnérables ». Son but est de concevoir des logiciels détectant des piétons en danger et d’améliorer ainsi la sécurité routière. Ma thèse a pour but de détecter et de reconnaître les piétons dans les images. Celles-ci proviennent d’une caméra embarquée dans un véhicule circulant en milieu urbain. Ce cahier des charges implique de nombreuses contraintes. Il faut notamment obtenir un système fonctionnant en temps réel pour être capable de détecter les piétons avant un éventuel impact. De plus, ces piétons peuvent être sujets à de nombreuses variations (taille, type de vêtements...), ce qui rend la tâche de reconnaissance d’autant plus ardue. La caméra étant mobile, aucune information ne pourra être extraite du fond. Dans ma thèse, nous mettons en oeuvre différentes méthodes de vision par ordinateur, toutes basées apprentissage, qui permettent de répondre à ces attentes. Le problème se traite en deux phases. Dans un premier temps, une étape de traitement hors ligne nous permet de concevoir une méthode valide pour reconnaître des piétons. Nous faisons appel à une base d’apprentissage. Tout d’abord, un descripteur d’images est employé pour extraire des informations des images.Puis, à partir de ces informations, un classifieur est entraîné à différencier les piétons des autres objets. Nous proposons l’utilisation de trois descripteurs (ondelettes de Haar, histogrammes de gradients et descripteur binaire). Pour la classification, nous avons recours à un algorithme de Boosting (AdaBoost) et à des méthodes à noyaux (SVM, RVM, moindres carrés). Chaque méthode a été paramétrée, testée et validée, tant au niveau description d’images que classification.La meilleure association de toutes ces méthodes est également recherchée. Dans un second temps, nous développons un système embarqué temps réel, qui soit capable de détecter les piétons avant une éventuelle collision. Nous exploitons directement des images brutes en provenance de la caméra et ajoutons un module pour segmenter l’image, afin de pouvoir intégrer les méthodes de description et classification précédentes et ainsi répondre à la problématique initiale.1. acronyme de « Groupe d’Automatique, VIsion et Robotique ».2. acronyme de « LAboratoire des Sciences et Matériaux Et d’Automatique ».3. acronyme de « Computers that See ».This thesis has been realized in the group GRAVIR (4) of the LASMEA (5) with the team Com-See (6), which works on computer vision. My research was involved in a projet of the « Agence Nationale pour la Recherche »nammed « Logiciels d’Observation des Vulnérables ». Its goal was to create softwares to detect endangered pedestrians and thus to improve road safety. My thesis aims to detect and to recognize pedestrians in images. These come from a camera embedded into a vehicle, which is driven in urban areas. These specifications involve many constraints. We have to obtain a real-time system for detect pedestrians before a possible collision. Moreover, pedestrians should be very variable (size, clothes, ...), which make the recognition more complicated. As the camera is moving, no information could be taken from the background. In my thesis, we implement several methods of computer vision, all based on a learning stage, which answer to all theses expectations. The problem is solved in two steps. Firstly, a off-line stage allows us to design a method able to recognize pedestrians. We use a learning database. First of all, an image descriptor is used to extract informations of the images.Then, from these informations, a classifior is trained to differentiate pedestrians to others objects. We suggest to use three descriptors (Haar wavelets, histograms of oriented gradients and binary descriptor). For the classification task, we use a Boosting algorithm (AdaBoost) and kernel methods (SVM, RVM, least squares). We define all the parameters, and each method - of description or classification - is then tested and validated. The best association of these methods is also searched. Secondly, we realize an embedded real-time system, which is able to detect pedestrians before a possible collision. We directly use raw images coming from the camera et add a segmentation stage, so as to insert previous description and classification méthods and thus to answer to the initial problem.4. for « Groupe d’Automatique, VIsion et Robotique ».5. for « LAboratoire des Sciences et Matériaux et d’Automatique ».6. for « Computers that See »

Reconnaissance d'objets en vision artificielle (application à la reconnaissance de piétons)

Ce mémoire présente les travaux réalisés dans le cadre de ma thèse. Celle-ci a été menée dans le groupe GRAVIR (1) du LASMEA (2) au sein de l équipe ComSee (3) qui se consacre à la vision par ordinateur. Ces travaux s inscrivent dans le cadre d un projet de l Agence Nationale pour la Recherche s intitulant Logiciels d Observation des Vulnérables . Son but est de concevoir des logiciels détectant des piétons en danger et d améliorer ainsi la sécurité routière. Ma thèse a pour but de détecter et de reconnaître les piétons dans les images. Celles-ci proviennent d une caméra embarquée dans un véhicule circulant en milieu urbain. Ce cahier des charges implique de nombreuses contraintes. Il faut notamment obtenir un système fonctionnant en temps réel pour être capable de détecter les piétons avant un éventuel impact. De plus, ces piétons peuvent être sujets à de nombreuses variations (taille, type de vêtements...), ce qui rend la tâche de reconnaissance d autant plus ardue. La caméra étant mobile, aucune information ne pourra être extraite du fond. Dans ma thèse, nous mettons en oeuvre différentes méthodes de vision par ordinateur, toutes basées apprentissage, qui permettent de répondre à ces attentes. Le problème se traite en deux phases. Dans un premier temps, une étape de traitement hors ligne nous permet de concevoir une méthode valide pour reconnaître des piétons. Nous faisons appel à une base d apprentissage. Tout d abord, un descripteur d images est employé pour extraire des informations des images.Puis, à partir de ces informations, un classifieur est entraîné à différencier les piétons des autres objets. Nous proposons l utilisation de trois descripteurs (ondelettes de Haar, histogrammes de gradients et descripteur binaire). Pour la classification, nous avons recours à un algorithme de Boosting (AdaBoost) et à des méthodes à noyaux (SVM, RVM, moindres carrés). Chaque méthode a été paramétrée, testée et validée, tant au niveau description d images que classification.La meilleure association de toutes ces méthodes est également recherchée. Dans un second temps, nous développons un système embarqué temps réel, qui soit capable de détecter les piétons avant une éventuelle collision. Nous exploitons directement des images brutes en provenance de la caméra et ajoutons un module pour segmenter l image, afin de pouvoir intégrer les méthodes de description et classification précédentes et ainsi répondre à la problématique initiale.1. acronyme de Groupe d Automatique, VIsion et Robotique .2. acronyme de LAboratoire des Sciences et Matériaux Et d Automatique .3. acronyme de Computers that See .This thesis has been realized in the group GRAVIR (4) of the LASMEA (5) with the team Com-See (6), which works on computer vision. My research was involved in a projet of the Agence Nationale pour la Recherche nammed Logiciels d Observation des Vulnérables . Its goal was to create softwares to detect endangered pedestrians and thus to improve road safety. My thesis aims to detect and to recognize pedestrians in images. These come from a camera embedded into a vehicle, which is driven in urban areas. These specifications involve many constraints. We have to obtain a real-time system for detect pedestrians before a possible collision. Moreover, pedestrians should be very variable (size, clothes, ...), which make the recognition more complicated. As the camera is moving, no information could be taken from the background. In my thesis, we implement several methods of computer vision, all based on a learning stage, which answer to all theses expectations. The problem is solved in two steps. Firstly, a off-line stage allows us to design a method able to recognize pedestrians. We use a learning database. First of all, an image descriptor is used to extract informations of the images.Then, from these informations, a classifior is trained to differentiate pedestrians to others objects. We suggest to use three descriptors (Haar wavelets, histograms of oriented gradients and binary descriptor). For the classification task, we use a Boosting algorithm (AdaBoost) and kernel methods (SVM, RVM, least squares). We define all the parameters, and each method - of description or classification - is then tested and validated. The best association of these methods is also searched. Secondly, we realize an embedded real-time system, which is able to detect pedestrians before a possible collision. We directly use raw images coming from the camera et add a segmentation stage, so as to insert previous description and classification méthods and thus to answer to the initial problem.4. for Groupe d Automatique, VIsion et Robotique .5. for LAboratoire des Sciences et Matériaux et d Automatique .6. for Computers that See .CLERMONT FD-Bib.électronique (631139902) / SudocSudocFranceF

Association of AdaBoost and Kernel based machine learning methods for visual pedestrian recognition

International audienceWe present a real-time solution for pedestrian detection in images. The key point of such method is the definition of a generic model able to describe the huge variability of pedestrians. We propose a learning based approach using a training set composed by positive and negative samples. A simple description of each candidate image provides a huge feature vector from which can be built weak classifiers. We select a subset of relevant weak classifiers using a classic AdaBoost algorithm. The resulting subset is then used as binary vectors in a kernel based machine learning classifier (like SVM, RVM, ...). The major contribution of the paper is the original association of an AdaBoost algorithm to select the relevant weak classifiers, followed by a SVM like classifier for which input data are given by the selected weak classifiers. Kernel based machine learning provides non-linear separator into the weak classifier space while standard AdaBoost gives a linear one. Performances of this method are compared to state of art methods and a real-time application with a monocular camera embedded in a moving vehicle is also presented to match this approach against a real context

Visual pedestrian recognition in weak classifier space using nonlinear parametric models

International audiencePedestrian recognition in images is a challenging task. Indeed a generic model must be able to describe the huge variability of pedestrians. We propose a learning based approach using a training set composed by positive and negative samples. A simple description of each candidate image provides a huge feature vector from which can be built weak classifiers. We select a subset of relevant weak classifiers using a classic AdaBoost algorithm. The resulting subset is then used as binary vectors in a kernel based machine learning classifier (like SVM, RVM, ...). The major contribution of the paper is the original association of an AdaBoost algorithm to select the relevant weak classifiers, followed by a SVM like classifier for which input data are given by the selected weak classifiers. Kernel based machine learning provides non-linear separator into the weak classifier space while standard AdaBoost gives a linear one. Performances of this method are compared to a classical AdaBoost method

Symmetry Aware Evaluation of 3D Object Detection and Pose Estimation in Scenes of Many Parts in Bulk

International audienceWhile 3D object detection and pose estimation has been studied for a long time, its evaluation is not yet completely satisfactory. Indeed, existing datasets typically consist in numerous acquisitions of only a few scenes because of the tediousness of pose annotation, and existing evaluation protocols cannot handle properly objects with symmetries. This work aims at addressing those two points. We first present automatic techniques to produce fully annotated RGBD data of many object instances in arbitrary poses, with which we produce a dataset of thousands of independent scenes of bulk parts composed of both real and synthetic images. We then propose a consistent evaluation methodology suitable for any rigid object, regardless of its symmetries. We illustrate it with two reference object detection and pose estimation methods on different objects, and show that incorporating symmetry considerations into pose estimation methods themselves can lead to significant performance gains. The proposed dataset is available at http://rbregier.github.io/dataset2017